พระยาไกรเพชรรัตนสงคราม (แฉ่ บุนนาค) มีบุตรรวม 14 คน โดยเป็นบุตรที่เกิดจากคุณหญิงฟอง (สกุลเดิม รัตนดิลก ณ ภูเก็ต) ธิดาของพระยาวิชิตสงคราม (ทัต รัตนดิลก ณ ภูเก็ต) ผู้ว่าราชการเมืองภูเก็ต มีบุตรธิดารวม 5 คน คือ

1. ฉ่า บุนนาค เลขานุการข้าหลวงเทศาภิบาลสำเร็จราชการมณฑลนครสวรรค์และมณฑลราชบุรี และเป็นล่ามในกรมรถไฟหลวง, กรมป่าไม้ และเป็นล่ามต่างประเทศ ประจำมณฑลภูเก็ต
2. พระยามนตรีสุริยวงศ์ (ฉี่ บุนนาค) สมุหเทศาภิบาลมณฑลราชบุรี ในรัชกาลที่ 6
3. ดำ บุนนาค
4. ชง บุนนาค
5. แช่ม บุนนาค สมรสกับพระยอดเมืองขวาง (ฤกษ์ ณ นคร

และมีบุตรกับคุณหญิงนิ่ม บุนนาค ธิดาของพระยามนตรีสุริยวงศ์ (ชุ่ม บุนนาค) และเป็นน้องสาวต่างมารดาของท่าน มีบุตรธิดารวม 6 คน

1. สว่าง บุนนาค
2. เฉิด บุนนาค
3. ฉัตร บุนนาค
4. เนือง บุนนาค สมรสกับพระภูมิพิชัย (หม่อมราชวงศ์บุง ลดาวัลย์) และเป็นมารดาของหม่อมหลวงทวีสันต์ ลดาวัลย์ อดีตราชเลขาธิการ
5. สุทธศรี บุนนาค สมรสกับนายไกรสงคราม (ถนอม บุณยสุรักษ์)
6. นาน บุนนาค สมรสกับหลวงอนุมัตินุกิจ (สอน ศรุตานนท์)